/**
 * 此CheerioCrawler示例使用方法globs中的属性enqueueLinks()仅将链接添加到RequestQueue队列（如果链接与指定模式匹配）。
 */
import { CheerioCrawler } from 'crawlee';

// 创建一个 CheerioCrawler
const crawler = new CheerioCrawler({
    // 仅限 10 个请求（如果要抓取所有链接请勿使用）
    maxRequestsPerCrawl: 10,
    // 为每个 URL 调用的函数
    async requestHandler({ request, enqueueLinks, log }) {
        log.info(request.url);
        // 将页面中的一些链接添加到爬虫的RequestQueue中
        await enqueueLinks({
            globs: ['http?(s)://crawlee.dev/*/*'],
        });
    },
});

// 定义起始 URL
await crawler.addRequests(['https://crawlee.dev']);

// 运行爬虫
await crawler.run();
